#Policy Compliance

3 篇

CRM-Agent-Bench: Benchmarking Tool-Using Agents in Stateful Enterprise Environments

CRM-Agent-Bench：企业有状态环境中工具型Agent评测基准

🧭 企业级Agent执行与合规评测

Salesforce, Inc.

用可执行合同严格评估多轮CRM任务中Agent的动作、状态与合规性，揭示说与做的差距

📌 工作参考价值（4 点）

构建内部Agent评测时，不要只看最终答案，可借鉴 executable contract 思路：将业务规则拆成对动作、参数、顺序、响应、目标状态、受保护状态的检查，合成严格成功条件，自动化回归。
在电商/推荐场景的Agent（如客服助手、营销文案生成、推荐解释）中，可定义受保护状态（如用户隐私字段、价格锁定、优惠券余额），确保Agent不会越权修改，直接复用其中的 protected state 检查。
评估指标必须包含 latency 和 cost，论文中领先系统虽然成功率接近，但成本和领域可靠性差异很大；业务落地前要做成本/稳定性分域分析，避免只按总体准确率选型。
给任务打能力标签（工具选择、多步推理、规则遵守等），用于快速定位失败模式，指导后续 prompt 优化、模型微调或工具设计。

Eval | 2026-10-23 | cs.HC | score 7/10

PolicyGuide：从守卫单一动作到引导整个工作流的政策合规 LLM 代理

🧭 Agent 工作流引导与政策合规 ★ 深度解读

KAIST · DeepAuto.ai

将领域政策编译为工作流图，用外部持久化验证器在用户轮次边界引导代理完成合规步骤，平均 PASS4 提升 20 个点

📌 工作参考价值（4 点）

将客服/订单/退款等政策流程离线编译为图结构，明确节点条件与转移，便于代码持久化状态和验证器遍历；避免仅依赖最终动作检查，可迁移到电商 Agent 的合规流程。
在用户轮次边界触发验证器，而非每个动作，平衡覆盖与成本；用一次性门控拦截未授权变异调用，防止死锁，适合高并发客服场景。
外部验证器 + 代码管理状态与代理解耦，可以复用同一工作流图跨多个 LLM 代理（如 GPT/Claude/Gemini），降低模型迁移成本。
对抗用户/社会工程攻击下，要求关键事实必须由工具结果支撑，而非用户陈述，可借鉴到电商恶意退款、价格操纵防护。

Agent | 2026-08-19 | HF Daily | score 8/10

τ-Rec：面向智能体推荐系统的可验证评测基准

🧭 智能体推荐系统评估基准 ★ 深度解读

Independent Researcher · Princeton University

用可验证奖励与 pass^k 一致性指标替代主观 LLM 评判，揭示当前模型在智能体推荐中的可靠性悬崖

📌 工作参考价值（4 点）

引入 pass^k 可靠性指标：在电商 Agent 上线前，用 pass^1/pass^2/pass^4 衡量多次执行的一致性，避免仅看单次成功率而低估长期可靠性；可结合回放测试评估模型稳定性。
可验证奖励 + 揭示标记引出 (RTE)：将约束打上 volunteer/on_ask/hidden 标签，模拟真实用户不完全表达需求的情景，迫使 Agent 通过多轮对话主动引出偏好，可作为电商导购、客服 Agent 的对话能力测试方案。
策略合规性作为第一类目标：将领域政策（如年龄限制、已购过滤、平台可用性、赞助披露）转化为可编程检查，直接审计轨迹，可照搬到电商推荐场景中检查 Agent 是否遵守负面清单、定价限制、合规话术等。
后训练截止目录防记忆：使用模型训练后发布的新商品（如 TMDB 2025–2026 电影）构建目录，确保评估不受训练数据泄露污染；电商可定期抓取新上架商品构建动态测试集，隔离泛化与记忆。

Agent | 2026-06-08 | cs.IR | score 10/10